Generalizable VLA Finetuning via Representation Anchoring and Language-Action Alignment
通过表示锚定和语言-动作对齐实现可泛化的VLA微调
🧭 具身Agent微调:表示蒸馏与动作离散化
University of Illinois Urbana-Champaign · Texas A&M University · University of California, Irvine
提出Anchor-Align,用表示锚定和语言-动作对齐防止VLA微调中的灾难性遗忘,提升机器人操作泛化能力
📌 工作参考价值(4 点)
- 多模态对话Agent的连续动作离散化:可将连续动作空间(如推荐系统中的出价、调价)转化为离散方向标签,与语言生成任务联合训练,提升策略的对齐性和解释性。
- 微调中防止预训练表示遗忘:在电商搜索LLM微调时,可引入表示锚定损失(蒸馏冻结模型的中间层),保留通用语义知识,提升OOD泛化能力。
- 离线强化学习/模仿学习的稳定性:对于从日志数据模仿推荐的Agent,该方法可防止分布漂移,尤其适用于长期序列决策的推荐场景。
- 主要用于具身智能,电商直接迁移有限:核心贡献在机器人控制,但其中表示蒸馏和离散动作对齐的思想可跨领域借鉴。